Environments as Scaffold: Enriching Feedback to Bootstrap Self-Evolving Agents in Long-Horizon Tasks
环境作为脚手架：丰富反馈以引导长程任务中自进化智能体
🧭 Agent 强化学习环境反馈设计
Fudan University · CASIA · Shanghai Innovation Institute
通过构建反馈增强环境，用环境侧观察丰富化缓解长程任务智能体 RL 训练中的奖励稀疏
📌 工作参考价值（4 点）
- 在对话式搜索/导购 Agent 的 RL 训练中，不要只靠 SFT 预热；改造模拟环境，episode 早期提供动作级 hint，后期转为丰富观察（如商品属性、用户状态、剩余步骤），可有效缓解 reward sparse。
- 多步推荐/搜索任务可分段设置反馈策略：前期 action guidance 防止冷启动，后期 observation enrichment 鼓励自主探索更优路径，形成课程式退火。
- 工程上注意 rollout 分组内反馈一致性（同一 group 的 critic/advantage 信号口径一致），否则 GRPO/PPO 类优化容易震荡；可在反馈模板中固定格式化字段。
- 对在线学习推荐 Agent 的环境模拟器设计有借鉴：把部分先验知识编码进环境观察而非模型初始策略，训练后策略内化，推理时无需额外先验。